実例から学ぶAWS Batch x スポットインスタンスによる大規模バッチ処理
まとめ
hiroki.icon必要なコマンドを指定するだけで簡単に並列バッチできる簡単さがヤバイ
AWS Batch
転んでも泣かないアーキテクチャにする→スポットシンスタンスと親和性が高くなる
https://gyazo.com/446559a4dafaaef9d72e9e1a4994949a
/icons/hr.icon
https://gyazo.com/ddcc62b0e8d2143dfcd571cb69f2f055
https://gyazo.com/f51eb7b9c482e50452c8284693a0718b
https://gyazo.com/7bac8f70e8b8b72f44ca9350a53a1cc7
https://gyazo.com/6b65f729c63848131db3ccb092b21fe0
https://gyazo.com/d59c5edbeb71f4636638ff643f4ddf0a
https://gyazo.com/84cfacac17c675068baa1e548a500ff7
https://gyazo.com/c697fa0fdbf71e31abce65559bc4e207
https://gyazo.com/8f9f41eaf7e46f40955654776f6ef272
https://gyazo.com/133f9cff9c9697ef755cfec8e45b0bf0
https://gyazo.com/647255d53a5aa0af6633f0dde9cca024
https://gyazo.com/11ea2eacfee94839fc63264269d9ff19
https://gyazo.com/474c5a2369d07e03cba46907e7ba9d33
https://gyazo.com/446559a4dafaaef9d72e9e1a4994949a
/icons/point.icon
https://gyazo.com/2c6709bdabb84b7c84be479901d40640
転んでも泣かないアーキテクチャになっているとスポットインスタンス活用と親和する
https://gyazo.com/8dbfadb368078adc14b5c8b1e6b9194d
https://gyazo.com/e3100ced8cc055fbab749567d151c924
https://gyazo.com/61cfcbcc181b9ca3d4242c3b306b4b04
/icons/point.iconスポットインスタンスの対応よりも冪等にするべき
死んだら再実行で良いというアーキテクチャ
https://gyazo.com/1e60b9be06417c0dd17a89e769c17944
https://gyazo.com/5be194ca2db0ff6aa75cbabe0bc3dce4
データソースがRDBとかで同時接続数とかがボトルネックになる
https://gyazo.com/ed2f03a14129eca383af3ae2b59aad7f
https://gyazo.com/b9f34b5dce1246f1bad965256ed3a0b1
lambdaでスポットが無理そうならオンデマンドみたいな制御
https://gyazo.com/23da2e5f350dbb69f7ff93cacf45a6cf